Ayahnya, Gadla Henry Mphakanyiswa, merupakan Penasihat Pengadilan Tinggi di Thembuland di bawah pemimpin tertinggi David Dalindyebo. Selepas ayahnya meninggal dunia, Mandela dibimbing oleh pemimpin tertinggi dan dididik untuk menjadi seorang pemimpin.

Mandela menamatkan pendidikan menengahnya di Healdtown Methodist Boarding School dan mendapatkan ijazah sarjana muda di bidang perniagaan di Universiti Fort Hare. Sebagai ahli Majlis Perwakilan Pelajar (SRC) dia bersama dengan mendiang Oliver Tambo pernah menentang aparteid dengan mogok pelajar meski akhirnya dibuang dari universiti tersebut pada tahun 1940. Dia kemudian melanjutkan pendidikan melalui program jarak jauh di University of South Africa (UNISA) di Johannesburg. Setelah mendapat ijazah dalam bidang perniagaan, dia mendaftar dalam program LLB (Sarjana Muda Undang-Undang) di University Witwatersrand.